Trong những ngày đầu của Thế chiến thứ hai, Zakharov đang giữ chức Tham mưu trưởng Tập đoàn quân 22, một trong những đơn vị giao chiến đầu tiên chống lại cuộc xâm lược của quân Đức trong Chiến dịch Barbarossa, tại vùng xung quanh Vitebsk, Velikiye Luki và Nevel. Từ tháng 8 năm 1941, Zakharov là Tham mưu trưởng và, trong suốt tháng 10 đến tháng 11, chỉ huy của Phương diện quân Bryansk, bao trùm các trục Oryol - Tula và Lviv - Kursk.

Từ tháng 12 năm 1941, Zakharov là phó tư lệnh Phương diện quân Tây, đơn vị đã tham gia cuộc phản công trên các hướng tiếp cận Moskva trong Trận chiến Moskva. Từ tháng 4 năm 1942, Zakharov là Tham mưu trưởng của Bộ tư lệnh Hướng chiến lược Bắc Kavkaz; từ tháng 5, chỉ huy Phương diện quân Bắc Kavkaz, và; từ tháng 8, Tham mưu trưởng Phương diện quân Stalingrad. Từ tháng 10 năm 1942, Zakharov là phó chỉ huy Phương diện quân Stalingrad, nơi ông lãnh đạo thành công lực lượng cánh trái của phương diện quân trong cuộc phản công của Liên Xô. Trong tháng 1 năm 1943, Zakharov được bổ nhiệm làm Phó Tư lệnh Phương diện quân Nam, trong khi từ tháng 2, ông là Tư lệnh Tập đoàn quân 51.

Từ tháng 7 năm 1943, Zakharov chỉ huy Tập đoàn quân Cận vệ 2, đã thực hiện xuất sắc cuộc đột kích qua tuyến phòng thủ của quân Đức trên sông Mius và Molochnaya. Dưới sự lãnh đạo của ông, Tập đoàn quân Cận vệ 2 đã phá vỡ các vị trí kiên cố trên Eo đất Perekop trong tháng 4 năm 1944 và tham gia giải phóng Sevastopol.

Trong năm 1944, Zakharov được giao trách nhiệm chỉ huy Phương diện quân Belorussia 2 trong Chiến dịch Bagration. Hiệu suất của phương diện quân trong chiến dịch này bị phê bình là không đạt được mục tiêu, và từ tháng 11, Zakharov đã bị giáng chức xuống làm chỉ huy Tập đoàn quân Cận vệ 4, được giao nhiệm vụ băng qua sông Danube và tham gia bao cây quân Đức ở Budapest trong Chiến dịch Budapest. Tháng 4 năm 1945, Zakharov được bổ nhiệm làm Phó Tư lệnh Phương diện quân Ukraina 4.